可靠的皮肤癌诊断模型在早期筛查和医疗干预中起着至关重要的作用。流行的计算机辅助皮肤癌分类系统采用深度学习方法。然而，最近的研究揭示了它们对对抗攻击的极端脆弱性 - 通常无法察觉地扰动，可显着降低皮肤癌诊断模型的性能。为了减轻这些威胁，这项工作通过在皮肤癌图像中进行反向对抗性扰动提出了一个简单，有效和资源有效的防御框架。具体而言，首先建立了多尺度图像金字塔，以更好地保留医学成像域中的判别结构。为了中和对抗性效应，通过注射各向同性高斯噪声将不同尺度的皮肤图像逐渐扩散，以将对抗性示例移至干净的图像歧管。至关重要的是，为了进一步逆转对抗性的噪音并抑制了冗余的注射噪声，精心设计了一种新型的多尺度降级机制，可以从相邻尺度汇总图像信息。我们评估了方法对ISIC 2019的防御效果，这是最大的皮肤癌多类分类数据集。实验结果表明，所提出的方法可以成功地逆转不同攻击的对抗扰动，并且在捍卫皮肤癌诊断模型中的某些最新方法明显优于某些最先进的方法。

各种人类运动预测旨在从一系列观察到的姿势中预测多个可能的未来姿势序列。以前的方法通常采用深层生成网络来对数据的条件分布进行建模，然后从分布中随机取得结果。尽管可以获得不同的结果，但它们通常是最有多样化的结果。最近的工作明确地通过确定性网络了解条件分布的多种模式，但是，该网络只能涵盖有限范围内的固定数量模式。在本文中，我们提出了一种新型的抽样策略，用于对深层生成模型学到的不平衡多模式分布进行采样非常多样化的结果。我们的方法通过生成辅助空间，并巧妙地从目标分布中的多样采样从辅助空间中随机进行随机采样。我们提出了一种简单而有效的网络体系结构，该架构实现了这种新型的采样策略，该策略结合了gumbel-softmax系数矩阵采样方法和促进铰链损失函数的积极多样性。广泛的实验表明，与先前最新的采样方法相比，我们的方法显着提高了采样的多样性和准确性。代码和预训练模型可在https://github.com/droliven/diverse_sampling上找到。

预训练模型（PTM）已被广泛用于各种下游任务。 PTM的参数分布在Internet上，可能会遭受后门攻击。在这项工作中，我们演示了PTMS的普遍脆弱性，在该工作中，可以通过任意下游任务中的后门攻击轻松控制PTMS。具体而言，攻击者可以添加一个简单的预训练任务，该任务将触发实例的输出表示限制为预定义的向量，即神经元级后门攻击（NEUBA）。如果在微调过程中未消除后门功能，则触发器可以通过预定义的矢量预测固定标签。在自然语言处理（NLP）和计算机视觉（CV）的实验中，我们表明Neuba绝对可以控制触发实例的预测，而无需了解下游任务。最后，我们将几种防御方法应用于Neuba，并发现模型修剪是通过排除后门神经元来抵抗Neuba的有希望的方向。我们的发现听起来是红色警报，用于广泛使用PTM。我们的源代码和模型可在\ url {https://github.com/thunlp/neuba}上获得。

Facial action units (FAUs) are critical for fine-grained facial expression analysis. Although FAU detection has been actively studied using ideally high quality images, it was not thoroughly studied under heavily occluded conditions. In this paper, we propose the first occlusion-robust FAU recognition method to maintain FAU detection performance under heavy occlusions. Our novel approach takes advantage of rich information from the latent space of masked autoencoder (MAE) and transforms it into FAU features. Bypassing the occlusion reconstruction step, our model efficiently extracts FAU features of occluded faces by mining the latent space of a pretrained masked autoencoder. Both node and edge-level knowledge distillation are also employed to guide our model to find a mapping between latent space vectors and FAU features. Facial occlusion conditions, including random small patches and large blocks, are thoroughly studied. Experimental results on BP4D and DISFA datasets show that our method can achieve state-of-the-art performances under the studied facial occlusion, significantly outperforming existing baseline methods. In particular, even under heavy occlusion, the proposed method can achieve comparable performance as state-of-the-art methods under normal conditions.

在移动设备上部署机器学习模型已引起越来越多的关注。为了解决设备上硬件资源的局限性解决模型概括问题，设备模型需要通过诸如云模型的模型压缩等技术轻量级。但是，改善设备模型概括的主要障碍是云数据和设备模型数据之间的分布变化，因为设备模型上的数据分布通常会随着时间而变化（例如，用户在建议系统中可能具有不同的偏好）。尽管实时微调和蒸馏方法考虑到了这种情况，但这些方法需要进行设备训练，由于计算能力较低和设备上缺乏实时标记样品，因此实际上是不可行的。在本文中，我们提出了一个名为Metanetwork的新型任务无关框架，用于从云中生成自适应设备模型参数，而无需进行设备训练。具体而言，我们的元网络部署在云上，由元培养剂和转移器模块组成。 Metagenerator旨在学习从样本到模型参数的映射函数，并且可以根据从设备上传到云的样本生成和传递自适应参数到设备。转移剂旨在减少元烯剂的振荡，加速收敛并在训练和推理过程中提高模型性能。我们使用三个数据集评估了两个任务的方法。广泛的实验表明，元网可以以不同的方式实现竞争性能。

基于深度学习的视网膜病变分割方法通常需要大量精确的像素注释数据。但是，概述病变区域的圆形或椭圆等粗糙注释的效率可能是像素级注释的六倍。因此，本文提出了一个注释细化网络，以将粗注释转换为像素级分割掩码。我们的主要新颖性是原型学习范式的应用来增强不同数据集或类型病变的概括能力。我们还引入了一个原型称量模块，以处理过度较小的病变的具有挑战性的病例。提出的方法对公开可用的IDRID数据集进行了培训，然后概括为公共DDR和我们的现实世界私人数据集。实验表明，我们的方法显着改善了初始的粗蒙版，并以较大的边缘优于非概率基线。此外，我们证明了原型称量模块在跨数据库和跨阶级设置中的实用性。

基于DNN的视频对象检测（VOD）为自动驾驶和视频监视行业提供了重要的重要性和有希望的机会。但是，由于其实用性，可行性和强大的攻击效果，对抗贴片攻击在现场视觉任务中产生了巨大的关注。这项工作提出了Themis，这是一种软件/硬件系统，可防止对抗贴片，以实时稳健的视频对象检测。我们观察到，对抗斑块在具有非稳定预测的小区域中表现出极为局部的表面特征，因此提出了对抗区域检测算法，以消除对抗性效应。Themis还提出了一种系统的设计，以通过消除冗余计算和记忆运输来有效地支持该算法。实验结果表明，提出的方法可以有效地从可忽略的硬件开销中从对抗性攻击中恢复系统。

蒙面自动编码是一种流行而有效的自我监督学习方法，可以指向云学习。但是，大多数现有方法仅重建掩盖点并忽略本地几何信息，这对于了解点云数据也很重要。在这项工作中，据我们所知，我们首次尝试将局部几何信息明确考虑到掩盖的自动编码中，并提出一种新颖的蒙版表面预测（Masksurf）方法。具体而言，考虑到以高比例掩盖的输入点云，我们学习一个基于变压器的编码器码头网络，通过同时预测表面位置（即点）和每条效率方向（即，正常），以估算基础掩盖的表面。 。点和正态的预测由倒角距离和新引入的位置指标的正常距离以设定的方式进行监督。在三种微调策略下，我们的Masksurf在六个下游任务上得到了验证。特别是，MaskSurf在OBJ-BG设置下的ScanoBjectNN的现实世界数据集上胜过其最接近的竞争对手Point-Mae，证明了掩盖的表面预测的优势比蒙版的预测优势比蒙版的预测。代码将在https://github.com/ybzh/masksurf上找到。

对象点云的语义分析在很大程度上是由释放基准数据集的驱动的，包括合成的数据集，其实例是从对象CAD模型中采样的。但是，从合成数据中学习可能不会推广到实际情况，在这种情况下，点云通常不完整，不均匀分布和嘈杂。可以通过学习域适应算法来减轻模拟对真实性（SIM2REAL）域间隙的挑战。但是，我们认为通过更现实的渲染来产生合成点云是一种强大的选择，因为可以捕获系统的非均匀噪声模式。为此，我们提出了一个集成方案，该方案包括通过将斑点模式的投影渲染到CAD模型上，以及一种新颖的准平衡自我训练，通过散布驱动驱动的选择，通过将斑点模式投影到CAD模型上，并通过将斑点模式投影和一种新颖的准平衡自我训练来渲染立体声图像，该方案包括对象点云的物理现实综合。长尾巴的伪标记为样品。实验结果可以验证我们方法的有效性及其两个模块，用于对点云分类的无监督域适应，从而实现最新的性能。源代码和SpeckLenet合成数据集可在https://github.com/gorilla-lab-scut/qs3上找到。

Knowledge distillation (KD) has been actively studied for image classification tasks in deep learning, aiming to improve the performance of a student based on the knowledge from a teacher. However, applying KD in image regression with a scalar response variable has been rarely studied, and there exists no KD method applicable to both classification and regression tasks yet. Moreover, existing KD methods often require a practitioner to carefully select or adjust the teacher and student architectures, making these methods less flexible in practice. To address the above problems in a unified way, we propose a comprehensive KD framework based on cGANs, termed cGAN-KD. Fundamentally different from existing KD methods, cGAN-KD distills and transfers knowledge from a teacher model to a student model via cGAN-generated samples. This novel mechanism makes cGAN-KD suitable for both classification and regression tasks, compatible with other KD methods, and insensitive to the teacher and student architectures. An error bound for a student model trained in the cGAN-KD framework is derived in this work, providing a theory for why cGAN-KD is effective as well as guiding the practical implementation of cGAN-KD. Extensive experiments on CIFAR-100 and ImageNet-100 show that we can combine state of the art KD methods with the cGAN-KD framework to yield a new state of the art. Moreover, experiments on Steering Angle and UTKFace demonstrate the effectiveness of cGAN-KD in image regression tasks, where existing KD methods are inapplicable.